Zunächst erfolgte nur die Errichtung des zentralen Turmes.
Trotz heftiger Einsprüche seitens dreier benachbarter Erzbischöfe und des Papstes bereits 1327 (die Errichtung dieses „überaus festen Turmes“ war mit ein Grund zur Exkommunikation Ludwigs), hielt Ludwig der Bayer unbeirrt an seiner Zollstation fest.
1329 überließ er den Turm den Pfalzgrafen bei Rhein.
Von 1339 bis 1342 fand ein Ausbau der Anlage statt, indem noch eine sechseckige, den Tum umgebende Ringmauer errichtet wurde. Der Name Pfalzgrafenstein ist erstmals 1339 bezeugt.
1406 war sie einem eigenen Burggrafen, 1509 jedoch nur noch einem Zollwächter anvertraut.
1607 ließ Kurfürst Friedrich IV. von der Pfalz die Anlage nochmals verstärken. Zusammen mit Burg Gutenfels oberhalb von Kaub (siehe dort) bildete sie einen Sperrriegel im Rhein. Bis 1803 hatte sie stets eine kleine Besatzung, die schließlich dem Kommmandanten der Burg Gutenfels unterstanden.
Nochmals geschichtliche Bedeutung erlangte die Insel, als hier in der Neujahrsnacht 1813/14 Blücher bei der Verfolgung Napoleons mit preußischen und russischen Truppen über den Rhein setzte.